This work studies networked agents cooperating to track a dynamical state of nature under partial information. The proposed algorithm is a distributed Bayesian filtering algorithm for finite-state hidden Markov models (HMMs). It can be used for sequential state estimation tasks, as well as for modeling opinion formation over social networks under dynamic environments. We show that the disagreement with the optimal centralized solution is asymptotically bounded for the class of geometrically ergodic state transition models, which includes rapidly changing models. We also derive recursions for calculating the probability of error and establish convergence under Gaussian observation models. Simulations are provided to illustrate the theory and to compare against alternative approaches.

在本文中，我们考虑了分散的优化问题，在这些问题中，代理具有个人成本函数，以最大程度地减少受到子空间约束的约束，这些子空间约束需要整个网络的最小化器才能位于低维子空间中。这种约束的公式包括共识或单任务优化作为特殊情况，并允许更一般的任务相关性模型，例如多任务平滑度和耦合优化。为了应对沟通限制，我们提出并研究一种自适应分散策略，在该策略中，代理人在与邻居进行交流之前，使用差异随机量化器来压缩其估计。分析表明，在量化噪声的某些一般条件下，对于足够小的步长$ \ mu $，该策略在均方误差和平均比特率方面都是稳定的：通过减少$ \ mu $，可以将估计错误保持较小（按$ \ mu $）保持较小，而不会无限地增加比特率为$ \ mu \ rightarrow 0 $。模拟说明了理论发现和提议方法的有效性，表明可以实现分散学习，但仅需少量。

自适应滤波器处于许多信号处理应用的核心，从声噪声繁殖到回声消除，阵列波束形成，信道均衡，以更新的传感器网络应用在监控，目标本地化和跟踪中。沿着该方向的趋势方法是重复到网络内分布式处理，其中各个节点实现适应规则并将它们的估计扩散到网络。当关于过滤方案的先验知识有限或不精确时，选择最适当的过滤器结构并调整其参数变得有挑战性的任务，并且错误的选择可能导致性能不足。为了解决这个困难，一种有用的方法是依赖自适应结构的组合。自适应滤波器的组合在某种程度上利用相同的鸿沟和征服机器学习界（例如，袋装或升级）成功利用的原则。特别地，在不同的视角下，在计算学习领域中研究了组合若干学习算法的输出（专家的混合）：而不是研究混合物的预期性能，衍生出适用于各个序列的确定性范围因此，反映了最糟糕的情况。这些界限需要与通常在自适应滤波中使用的那些不同的假设，这是该概述文章的重点。我们审查了这些组合计划背后的关键思想和原则，重点是设计规则。我们还通过各种示例说明了它们的性能。

这项工作提出了一种分散的架构，其中个别代理旨在解决分类问题，同时观察不同尺寸的流特征，并从可能不同的分布产生。在社会学习的背景下，已经开发了几种有用的策略，通过跨分布式代理的本地合作解决了决策问题，并允许他们从流数据中学习。然而，传统的社会学习策略依赖于每个代理人对观察结果分布的重要知识的基本假设。在这项工作中，我们通过引入一种机器学习框架来克服这一问题，该机器学习框架利用图形的社交交互，导致分布式分类问题的完全数据驱动的解决方案。在拟议的社交机器学习（SML）策略中，存在两个阶段：在训练阶段，分类器被独立培训，以使用有限数量的训练样本来产生一组假设的信念;在预测阶段，分类器评估流媒体未标记的观察，并与邻近分类器共享他们的瞬时信仰。我们表明SML策略使得代理能够在这种高度异构的环境下一致地学习，并且即使在预测阶段决定未标记的样本时，即使在预测阶段也允许网络继续学习。预测决策用于以明显不同的方式不断地提高性能，这些方式与大多数现有的静态分类方案不同，在培训之后，未标记数据的决策不会重新用于改善未来的性能。

这项工作审查了旨在在通信约束下运行的自适应分布式学习策略。我们考虑一个代理网络，必须从持续观察流数据来解决在线优化问题。代理商实施了分布式合作策略，其中允许每个代理商与其邻居执行本地信息交换。为了应对通信约束，必须不可避免地压缩交换信息。我们提出了一种扩散策略，昵称为ACTC（适应 - 压缩 - 然后组合），其依赖于以下步骤：i）每个代理执行具有恒定步长大小的单独随机梯度更新的适应步骤; ii）一种压缩步骤，它利用最近引入的随机压缩操作员;和III）每个代理组合从其邻居接收的压缩更新的组合步骤。这项工作的区别要素如下。首先，我们专注于自适应策略，其中常数（而不是递减）阶梯大小对于实时响应非间断变化至关重要。其次，我们考虑一般的指导图表和左随机组合政策，使我们能够增强拓扑和学习之间的相互作用。第三，与对所有个人代理的成本职能承担强大的凸起的相关作品相比，我们只需要在网络水平的强大凸起，即使单个代理具有强凸的成本，剩余的代理商也不满足凸起成本。第四，我们专注于扩散（而不是共识）战略。在压缩信息的苛刻设置下，建立ACTC迭代在所需的优化器周围波动，在相邻代理之间交换的比特方面取得了显着的节省。

We perform an empirical study of the behaviour of deep networks when pushing its activation functions to become fully linear in some of its feature channels through a sparsity prior on the overall number of nonlinear units in the network. To measure the depth of the resulting partially linearized network, we compute the average number of active nonlinearities encountered along a path in the network graph. In experiments on CNNs with sparsified PReLUs on typical image classification tasks, we make several observations: Under sparsity pressure, the remaining nonlinear units organize into distinct structures, forming core-networks of near constant effective depth and width, which in turn depend on task difficulty. We consistently observe a slow decay of performance with depth until the onset of a rapid collapse in accuracy, allowing for surprisingly shallow networks at moderate losses in accuracy that outperform base-line networks of similar depth, even after increasing width to a comparable number of parameters. In terms of training, we observe a nonlinear advantage: Reducing nonlinearity after training leads to a better performance than before, in line with previous findings in linearized training, but with a gap depending on task difficulty that vanishes for easy problems.

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

乳腺癌是全球女性中最常见的癌症。乳腺癌的早期诊断可以显着提高治疗效率。由于其可靠性，准确性和负担能力，计算机辅助诊断（CAD）系统被广泛采用。乳腺癌诊断有不同的成像技术。本文使用的最准确的是组织病理学。深度传输学习被用作提议的CAD系统功能提取器的主要思想。尽管在这项研究中已经测试了16个不同的预训练网络，但我们的主要重点是分类阶段。在所有测试的CNN中，具有剩余网络既有剩余网络既有剩余和启动网络的启发能力，均显示出最佳的特征提取能力。在分类阶段，Catboost，XGBOOST和LIGHTGBM的合奏提供了最佳的平均精度。 Breakhis数据集用于评估所提出的方法。 Breakhis在四个放大因素中包含7909个组织病理学图像（2,480个良性和5,429个恶性）。提出的方法的准确性（IRV2-CXL）使用70％的Breakhis数据集作为40倍，100X，200X和400X放大倍率的训练数据分别为96.82％，95.84％，97.01％和96.15％。大多数关于自动乳腺癌检测的研究都集中在特征提取上，这使我们参加了分类阶段。 IRV2-CXL由于使用软投票集合方法而显示出更好或可比较的结果，该合奏方法可以将Catboost，XGBoost和LightGBM的优势结合在一起。

本文通过匹配的追求方法开发了一类低复杂设备调度算法，以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能，并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比，所提出的方案在系统上构成了较低的计算负载：对于$ k $设备和参数服务器上的$ n $ antennas，基准的复杂性用$ \ left缩放（n^）2 + k \ right）^3 + n^6 $，而提出的方案量表的复杂性则以$ 0 <p，q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。

尽管深度神经网络在解决面部对齐方面取得了合理的准确性，但它仍然是一项艰巨的任务，特别是当我们处理面部图像，闭塞或极端头部姿势时。基于热图的回归（HBR）和基于坐标的回归（CBR）是面部比对的两种主要使用方法之一。 CBR方法需要更少的计算机内存，尽管它们的性能小于HBR方法。在本文中，我们提出了一种基于自适应坐标的回归（ACR）损失，以提高CBR对面对对准的准确性。受主动形状模型（ASM）的启发，我们生成平滑面对象，与地面真相标记点相比，一组面部标志点具有更少的变化。然后，我们引入了一种方法来估计通过比较地面真相标记点和相应的平滑面对象的分布来预测网络的每个地标点的难度水平。我们提出的ACR损失可以根据预测面部中每个地标点的难度水平来适应其曲率和损失的影响。因此，ACR损失指导网络朝着具有挑战性的点而不是更容易的点，这提高了面部对齐任务的准确性。我们的广泛评估表明，拟议的ACR损失在预测各种面部图像中的面部标志点方面的能力。